Gullit telah dilahirkan di Amsterdam dengan nama Rudi Dil. Bapanya, George Gullit merupakan orang Suriname yang berpindah ke Belanda bersama Herman Rijkaard, bapa kepada Frank Rijkaard. Keluarga Gullit di Jordaan di Amsterdam. Keluarganya tinggal di sebuah bilik yang kecil di dalam satu apartemen kecil. Bapa Gullit bekerja sebagai guru ekonomi di sekolah manakala ibunya merupakan seorang penjaga muzium di Rijksmuseum.

Gullit menyertai kelab Meerboys pada tahun 1970. Walau bagaimanapun, Gullit terpaksa berpindah dari Jordaan ke Amsterdam Old West dan di situ, beliau bermain bola sepak bersama Frank Rijkaard. Gullit sertai kelab DWS dan menarik kelab remaja Belanda dan seterusnya, beliau bermain bersama beberapa pemain terkenal seperti Erwin Koeman, Ronald Koeman and Wim Kieft.

Ketika masanya di DWS, Gullit memilih untuk menggunakan nama keluarga bapanya berbanding mendaftar nama keluarganya sendiri dan beliau kira lebih enak seperti seorang pemain bola sepak.[5] Beliau mengekalkan nama keluarga ibunya dan teruskan menandatangani semua kontrak dengan nama Ruud Gil.